iT邦幫忙

0

鐵人賽完賽後的全新專案重跑:整套 AI 行銷系統換上 Gemini 3.8 Flash 的實測結果

  • 分享至 

  • xImage
  •  

前言:完賽時答應的重跑做完了

Day 30 最後提醒過,gemini-3.6-flash 在 2026 年 11 月 19 日停用,之後照著這個系列重做的讀者會在好幾個程式檔遇到錯誤,當時答應完賽後會開一個全新的 GCP 專案,從 Day 03 照文章重跑一次,把模型換成 gemini-3.8-flash 並實跑確認後更新到儲存庫,這篇就是那次重跑的交代。

重跑在 2026 年 10 月 20 日到 27 日,用一個全新的測試專案,從 Day 03 的 Terraform 建環境開始照順序跑到 Day 28 的 Slack 通知,跑完再照 Day 30 第 5.5 節把資源刪掉,程式的修改、每一天的結果與已知限制都整理在 GitHub 的 v1.0 版本裡,這篇只講讀者最需要知道的幾件事。

  • 儲存庫:https://github.com/gminc/ai-driven-martech-pipeline
  • v1.0 版本說明:https://github.com/gminc/ai-driven-martech-pipeline/releases/tag/v1.0
  • 每一天的重跑結果:README 的「2026-10 實跑確認」一節

1. 程式改了什麼

最大的改動是模型名稱不再寫死在程式裡,Flash 模型改由環境變數 GEMINI_MODEL_FLASH 決定,沒設的話就是 gemini-3.8-flash,之後 Google 再換一代模型時,只要改一個地方。

除了換模型,還修了幾個重跑時才發現的問題:

  • Day 16、Day 20:gemini-3.8-flash 在只限制型別的輸出格式下,常常把「主色」「行動按鈕位置」這類選項欄位填成空值,程式改成遇到這種情況時,用列舉(enum)鎖住選項再問一次,改完後 Day 20 的比較兩個模型都是 95/95
  • Day 26:gemini-3.8-flash 單次呼叫常比 20 秒久,助理服務改成每次呼叫等 45 秒、整句話有 270 秒的時間預算,時間不夠就停下來,不再繼續花錢
  • Day 27、28:部署日報流程時,指定的 Slack 密鑰版本號碼不存在就直接停下,不會部署出一個每天都讀不到密鑰的流程
  • 每次執行評測類腳本時,會把當下的程式版本與模型寫進 ops_run_versions,查得到每一份結果是哪一版程式跑出來的

2. 重跑結果和文章不一樣的地方

大部分的數字和文章一致,Day 05、06、08 的資料筆數與歸因結果一字不差,Day 03 的 Terraform 現在是 34 項資源(文章寫的時候是 20、21 項,多的是 Day 25 到 28 加的),和文章不一樣、值得留意的有這幾處:

  • Day 04:綠界測試付款的畫面改了,要按「測試付款請點此」進模擬付款頁,持卡人姓名、手機變成必填
  • Day 07:GA4 那段的一致項數與列數依讀者自己的 GA4 資料而異
  • Day 13:盲測裡 gemini-3.8-flash 三次都找到了 S7 這個訊號,文章用 3.6-flash 時幾乎沒找到
  • Day 19:截圖與文字兩種給法都是 21/21,比文章的 18 與 20 好
  • Day 21 到 Day 28:gemini-3.8-flash 會間歇回「配額不足」(429),助理遇到時那一句會回「出了狀況」,每天早上的行銷日報偶爾只答出三題中的兩題,需要隔天排程或手動重跑

這些差異也補在受影響的 22 篇文章開頭,回頭看舊文章時,第一段就會看到這次重跑的更新。

3. 費用

整輪重跑呼叫模型的費用約新台幣 33 元,主要花在 Day 09 到 Day 28 呼叫 Gemini 的那幾天,這是照單價表估算的帳面值,遇到配額不足(429)的呼叫照最壞情況記帳,實際金額以帳單為準。

要提醒的是,gemini-3.8-flash 從 2027 年 1 月 1 日起單價加倍,agent/tools.py 的單價與 BigQuery 的單價表 ref_llm_price 都已經先放好 2027 年起的價格,日期一到估價與 Data Studio(原 Looker Studio)儀表板就會照新價格算,Google 如果再調價才需要改這兩處。

4. 讀者現在該怎麼做

  • 還沒開始的讀者:直接用 v1.0 的程式從 Day 03 開始,不用再管模型停用的問題
  • 已經照文章做到一半的讀者:先 git pull 拿到 v1.0,Day 29 第 5 章有找出還在用 3.6-flash 的指令,跑一次確認沒有漏掉
  • 用完要關掉的讀者:照 Day 30 第 5.5 節做,這次實測過一遍,另外要記得到 GA4 管理介面取消 BigQuery 連結,不然隔天資料集會被重建

這次重跑之後,這個系列的程式和文章算是真正收尾了,謝謝一路讀到這裡的讀者。

系列文章:https://ithelp.ithome.com.tw/users/20183997/ironman/9705


圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言